OptionWorld：诊断 LLM 长期个人助手失败环节的基准
🧭 Agent 长期任务失败诊断基准 ★ 深度解读
University of British Columbia · University of Chicago · Independent Researcher · Princeton University
提出 OptionWorld 基准，追踪从信息获取到行动结果的完整链路，定位 LLM 长期助手跨天任务失败环节
📌 工作参考价值（4 点）
- 在构建长期 Agent（如电商售后助手、广告投放优化助手）时，应显式维护“未完成任务清单”，为每个任务记录已获取事实、下一步行动、截止时间和阻塞条件，而非仅依赖对话记忆。可借鉴论文中的 Task State 概念，将“已获取事实”与“已执行干预”分开跟踪。
- 失败分析显示 Agent 常将临时障碍（如等待某条记录）误当作永久限制，导致自我设限而停止行动。可在系统层面加入定期校验机制：对等待条件设置有效期，过期自动重试或升级，避免 Agent 永久等待。
- 提示词或工具设计中明确区分“允许询问”和“允许承诺/执行”，避免 Agent 因权限边界不清而放弃可采取的行动。可参考论文的权限说明纠正实验：仅澄清“禁止联系”是指禁止最终承诺而非禁止询问，即可恢复正确行为。
- 对于长期任务，采用 checkpoint 回放和最小干预（补充事实、行动提醒、权限澄清）进行诊断，帮助定位失败发生在信息获取、判断还是行动环节，从而针对性优化 prompt 或 memory 结构，而不是盲目增加上下文长度。
WebFovea：可靠闭环提升视觉 Web Agent 在真实网站上的表现
🧭 Web Agent 可靠执行与工程硬化
Independent Researcher
通过硬化解析、执行、观测、信息呈现四阶段，同一模型成绩从31.0升至57.0
📌 工作参考价值（4 点）
- 把 agent 环路拆成 parse → execute → observe → prompt 四阶段，分别监控和加固；业务里常只调模型，但瓶颈常在 harness，同一模型换 harness 可大幅提分。
- 真实网页自动化要处理坐标缩放（论文中曾所有点击落在 3/4 坐标处）、iframe、原生下拉框和文本框的静默失败；建议统一坐标空间并加执行后状态校验，必要时降级为 DOM/JS 操作。
- 对 LLM 输出做严格 schema 校验和清洗，防止 chat-template 自生成 token 污染动作序列；记录失败样本用于回归。
- 设置 guardrails 管理预算和规则约束，避免 Agent 越界或浪费步骤；可将不同步骤路由到不同模型平衡成本与效果。
OSWorld-Pro：面向计算机使用Agent的过程性评估基准
🧭 Agent 过程性评估基准
NVIDIA
用 2800+ 子目标与 LLM-Judge 评估 CUA 过程性失败，揭示 Claude Opus 5 仅 75.7%
📌 工作参考价值（4 点）
- 对推荐/电商 Agent 的长链路任务（如“找到商品并下单”）不要只看最终成交，可拆成 query 理解、筛选、加购等顺序子目标，用 LLM-Judge 对每个子目标达成做过程性奖励，定位失败环节。
- 可以借鉴其 subgoal 标注方法：由人工标注关键中间态，构建带部分奖励的数据集，用于强化学习或 SFT，让模型学会逐步推进而不是跳步。
- 关注失败模式分类（如点击错误 vs 键盘输入错误、子目标无关动作），在 GUI Agent 中可对应到 UI 操作与 API 调用，针对高频错误做 action space 剪枝或提示优化。
- 用 LLM-Judge 代替人工做过程性校验时，需要与人工标注做对齐验证，确保 judge 可靠后再上线到自动化评估流水线。
SWE-bench Science：编码智能体能解决科学工程任务吗？
🧭 Coding Agent 评估 · 科学软件工程基准
Shanghai Innovation Institute · Fudan University
提出含119个任务、覆盖20个科学领域的仓库级科学软件工程基准，最佳编码智能体pass@1不足50%，并归纳四类失败机制
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中引入领域知识（类似 RAG 或 tool/context）时，要区分「高质量 grounding」与「弱对齐指导」：前者可提升平均性能并降低 token 成本，后者会诱导 anchoring，反而不提升精确修复。落地时建议做 A/B 或消融评估，不要默认注入更多领域知识一定更好。
- 论文把失败归为四类：知识/抽象不足、探索误导、修复覆盖/系统集成缺失、跨案例泛化不足。这可以迁移为 Agent 故障诊断框架，在电商场景下为推荐解释、代码生成、自动调参等 Agent 建立错误分类看板，针对四类分别改进 memory、search/tool 使用、集成测试与 few-shot 策略。
- 基准的三类任务范式 Issue-driven / Expert-exploratory / Engineering-integration 可用于设计 Agent 评估集：不只基于用户 issue 做修复，还要加入专家探索性任务和跨系统集成任务，能暴露真实业务 Agent 的鲁棒性问题。
- 成本敏感场景可同时监控「精确成功」和「token 效率」，高质量知识上下文即使不提升 exact match，也可能通过减少 token 消耗提升业务收益。
诊断长程搜索代理的搜索行为与失败模式
🧭 搜索代理行为诊断与失败分析 ★ 深度解读
Renmin University of China · National University of Singapore
通过轨迹级诊断揭示搜索努力与答案质量弱相关，证据检索召回率才是核心，失败可拆分为检索缺口与利用缺口
📌 工作参考价值（4 点）
- 用累积证据召回率替代搜索步数作为健康指标：在构建电商问答Agent或深度搜索产品时，监控“已检索到的黄金证据占比”远比统计搜索次数更能预测回答准确性。可嵌入评估链路，实时判断搜索质量。
- 实施基于证据增量的动态停止策略：研究发现77–94%的搜索步骤未带来新证据，有用证据集中在早期。可在Agent中增加模块，当连续K步未检索到新证据或已达累积证据阈值时自动终止搜索，减少尾部浪费和上下文溢出。
- 区分检索侧与利用侧失败，定向修复：错误答案可分为“从未找到证据”（检索缺口）和“找到证据但回答错”（利用缺口）。在迭代优化时，前者应改进查询改写与探索策略，后者应加强证据验证与答案归因。不同Agent的缺口比例差异大，需按诊断施治。
- 上下文管理优先处理搜索摘要流：搜索片段占用了大部分上下文（66–85%），远高于访问内容。可引入摘要去重、按轮次老化旧摘要、限制保留摘要数量等机制，防止旧信息淹没后续推理。
DocOps：面向复杂文档操作的自主代理可验证基准
🧭 Agent 评估基准 · 文档操作
Chinese Academy of Sciences · University of Chinese Academy of Sciences · Baidu Inc.
构建可确定性验证的文档操作基准，揭示前沿代理在长程耦合任务中状态跟踪崩溃、浅层验证等关键失效模式
📌 工作参考价值（4 点）
- 评估框架的设计思路（层次化任务分解、确定性验证）可迁移至电商搜索/推荐 Agent 的自动化评测，避免人工标注成本，确保可复现性
- 识别出的三种失败模式对构建面向长流程任务（如多步查询改写、动态过滤条件组合）的 Agent 有直接警示：需加强长程状态追踪、深层次语义校验、避免破坏性操作
- 文档操作中的“全局一致性维护”问题类似推荐系统中多轮对话或交叉操作下的状态管理，借鉴其分析维度可设计更鲁棒的交互式 RecBot
- 若业务涉及报告自动化、表格数据净化等 Agent 编排，该基准的层级分类可直接作为能力分级和测试用例设计的模板
CLI编程代理的失败轨迹：一项过程导向的实证解剖
🧭 Agent 故障过程分析
University College London · Nanjing University
首次大规模实证分析LLM CLI编程代理的失败轨迹，发现失败主要由认知错误驱动且早期隐蔽。
📌 工作参考价值（4 点）
- 代理监控引入过程性指标：不应仅以最终成败评估代理，可借鉴失败轨迹三阶段（onset, evolution, recovery），在推荐/搜索代理的交互过程中实时监测错误征兆，尤其是认知类错误（如错误理解环境状态），在早期步骤插入校验。
- 早期干预策略设计：论文指出多数失败在前几步就已埋下伏笔，且修复机会随时间衰减。在电商Agent工作流（如自动选品、广告出价）中，可对前几个动作设置更严格的沙箱验证或人工确认，阻断错误传播。
- 分阶段日志分析与故障归因：对线上代理的失败案例进行复盘时，可按执行步骤切片并标注错误类型（epistemic vs. aleatoric），定位“不可恢复点”，用于优化提示或工具描述。
- 多框架与模型一致性发现：研究覆盖7个模型、3个coding脚手架，其失败模式具有跨系统一致性，说明某些薄弱点（如对环境状态的误判）是LLM本质缺陷，对多Agent协作系统（如竞品分析、商品信息检索）的可靠性设计有普适参考价值。
SynthDocBench：长上下文视觉文档理解的受控基准
🧭 基准评估 · 长文档多模态理解
ServiceNow AI · Mila · Université de Montréal
通过合成数据系统控制文档长度、布局、模态和问题类型，揭示VLMs在长文档上的三种失败模式
📌 工作参考价值（4 点）
- 合成数据生成范式的复用：用LLM管线生成可控变量（长度、布局、模态、问题类型）的文档，可迁移到电商商品详情页、广告落地页等多模态内容的理解评估，系统诊断模型弱点。
- 位置敏感性发现：中部段落准确率最低（5/6模型“Early→Late”负向趋势，最大降8.3个百分点），提示在构建RAG系统的检索上下文时，避免简单按序拼接长文档，应将关键信息前移或采用分段注意力增强机制。
- 图表理解在长文档中崩坏：长文档内嵌图表的理解错误高，对广告/推荐中常含图表的多模态素材，需单独提取图表区域进行专项编码，或限制上下文长度以避免干扰。
- 防伪相关的随机覆写机制：生成时用40%随机覆写防止模型利用虚假关联，在实际业务构建评测集时，可引入类似随机占位符或噪声注入，避免模型走捷径，提升评测稳健性。
从受训者到训练师：LLM 自动设计多智体强化学习训练环境
🧭 LLM 辅助多智体强化学习环境自动设计
LARK, HKUST (GZ) · University of Cambridge · HKUST
让当前策略 LLM 分析失败轨迹并自动提议下一阶段训练环境配置，小模型超越大模型
📌 工作参考价值（4 点）
- 自适应环境工程：借鉴 LLM-as-Environment-Engineer 范式，在推荐系统或搜索决策 RL 训练中，将用户行为日志、推荐失败案例作为上下文，让模型自动调整仿真环境参数（如用户偏好分布、商品流行度），实现无需手工调参的课程学习。
- 失败驱动优化：验证了失败轨迹是最有效的环境更新信号；在业务 Agent 开发中，可周期性收集策略失败案例并结构化描述，让 LLM 生成下一次迭代的环境或训练数据修正，聚焦弱点针对性训练。
- 小模型超越大模型：发现当前 RL 微调后的 checkpoint 比原始基模型更适合做环境诊断；在资源受限的业务场景，可采用领域微调的小模型进行训练环境设计，成本更低且效果更好。
- 上下文摘要工程：文中使用的结构化总结（策略行为统计 + 失败案例 + 环境统计）可作为提示设计模板，用于任何需要 LLM 根据系统状态做决策的场景，如广告投放策略的自动调整。
失败推理轨迹暗含可修复性，无需阅读文本即可诊断
🧭 推理模型测试时故障诊断与路由
Mila - Quebec AI Institute · Université de Montréal · Polytechnique Montréal · CHU Sainte-Justine
从失败轨迹的分布特征中提取三个问题级特征，实现测试时故障分类与路由，提升修复成功率12.2%。
📌 工作参考价值（4 点）
- 在 Agent 多步推理或推荐解释生成中，可利用轨迹分布特征（如输出一致性、多样性）区分偶发性失败与结构性失败，从而决定是重试、引导还是更重干预，避免无谓计算。
- 提出的无训练路由规则直接使用输出级别统计量（无需解析文本），可嵌入到线上系统实现快速失败分类与资源分配，特别适合延迟敏感的电商搜索或对话推荐场景。
- 特征跨模型家族迁移，意味着对黑盒推理 API 也能通过采样子集构建诊断器，无需访问权重或训练数据，适合在第三方模型上部署。
- 通过分析不同后训练方法下的失败地形，可指导 fine-tuning 策略：若模型在特定失败类别上聚集，可针对性补充训练数据或调整偏好。